HSV fik af Århus kommune tilladelse til at benytte herreværelset i hovedbygningens stueetage. I dette mindre lokale - som i øvrigt blev delt mellem Aarhus Kommune og HSV, blev de første bøger og rekvisitter samlet. Det viste sig dog hurtigt, at dette fælles brug ikke var uden problemer.
I 2003 fik HSV stillet Vilhelmsborgs herskabsstald til rådighed for sine kulturhistoriske aktiviteter. Et par mindre rum, som var anvendt til depot for restauranten, blev sat i stand til et mindre bibliotek og kontor samt toilet og tekøkken. HSV skulle selv sørge for finansieringen af ombygningen, som Bent Neergaard stod for sammen med udarbejdelse af brugeraftalen direkte mellem kommunen og HSV.
HSV-NYT blev afløst af en egen side i HesteBladet, som Ulrich Nedergaard ejede og redigerede. Rita Geertz påtog sig løbende at anmelde mere specielle og spændende bøger. Grete Hjalf arrangerede indbinding af visse tidsskrifter.
Århus Festspil havde de sidste år brugt stalden til rekvisitter. Aftalen blev ophævet efter årets festspil. Sideløbende påbegyndtes en restaurering af vognremisen, hvor Århus kommune lod asfalten over gulvet i remisen fjerne, og et smukt pigstensgulv blev fremdraget.
På generalforsamlingen i 2004 blev årskontingentet hævet året efter til 400 kr. J.E. Egefjord måtte gå af pga. sygdom Bent Neergaard indtrådte i stedet. Holger Kofoed-Dam, Ulrich Nedergaard og Rita Geertz modtog genvalg.
Den første del af bygningen efter restaurering blev indviet den 24. maj 2004.
Grete Hjalf fik sat system i indsamlingen af et stort antal bøger og videoer. Hun fik en aftale med to biblioteksstuderende, Eva Sønderstrup-Andersen og Kirsten Buch Rasmussen om - som deres afgangsoppgave på biblioteksskolen - at udvikle et system, hvor alle bøger og videoer blev optaget på HSV`s digitale medie: www.hippologisk.dk.
En rapport herom blev først udarbejdet om forskellige bibliotekssystemer. Synlig nummerering på bøgerne blev aftalt. På generalforsamlingen i 2005 fremlagde de studerende deres resultater, og Bent Neergaard fandt systemet med hjemmesiden god. Registrering blev gennemført i slutningen af juni 2005.
På generalforsamlingen i 2005 blev arbejdsgruppen for restaureringen takket, nemlig Jens Bundgaard, Ib Møller og Bent Neergaard samt kommunens tilsynsførende Jens Ole Krogh. Susan Thorup fratrådte bestyrelsen og i stedet indvalgtes Gudrun Lefmann. Grete Hjalf og Jens Bundgaard genvalgtes.
På generalforsamlingen i 2006 genvalgtes Bent Neergaard, Rita Geertz, Holger Kofoed-Dam og Ulrich Nedergaard. Samme år tiltrådte Hugo og Stine Jensen samt Jytte Pedersen som inspektører. Året efter vedtoges at indkøbe nye og antikvariske bøger for 10.000 kr., hvad der skulle noteres på hjemmesiden. Mai Enevoldsen konstitueres for 1 år efter Ulrich Nedergaards død.
I formandens beretning nævntes, at HSV har syv æresmedlemmer, nemlig Jens Bundgaard, Dansk Ride Forbund, Dansk Varmblod, Grete Hjalf, Jens Ole Krogh, Ib Møller og Bent Neergaard.
I beretningen fra 2007 blev omtalt principper for udlejning af lokaler i herskabsstalden. Priserne differentieres efter, om det er lejere, der sponserer HSV eller står udenfor. Jytte Pedersen og Holger Kofoed-Dam styrer aftalerne, Hugo og Stine Jensen tager sig af det praktiske.
Muligheder for udstillinger undersøges.